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(57) Abstract 

In order to generate an improved image signal in motion assessment, — — — — — 

an exact pixel determination of a moving vector is initially carried out, 

followed by a two-step interpolation filtering at exact subpixel resolution. The — O ** O ~ O 

interpolation coefficients are chosen with the purpose of reducing aliasing. A 

larger number of adjacent pixels are used in comparison with conventional — — 

interpolation methods. The quality of the prediction signal for moving images 
can be thus improved, thereby enhancing coding efficiency. 



- o - X - o - 

(57) Zusammenfassung + + + ----" 

Zur Erzeugung eines verbesserten Bildsignals bei der Bewe- + O ^ O — O — 

gungsschatzung erfolgt zuerst eine pelgenaue Bestimmung eines , . _ _ 

Bewegungsvektors und anschlieflend eine zweistufige Interpolationsfilterung • *i ■ "* ™" "* 
auf Sub-Pelgenauigkeit. Die Interpolationskoeffizienten werden hinsichtlich 
einer Aliasing-Reduzierung gewahlt. Zur Interpolation werden mehr 

Nachbarbildpunkte herangezogen als bei Ublichen Interpolationsverfahren. Die Qualitfit eines Pradiktionssignals fur Bewegungsbilder Mt 
sich verbessern und damit die Codierungseffizienz steigem. 
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INTERPOLATIONSFILTERUNGSVERFAHREN FOR SUB-PELGENAUIGKEIT-BEWEGUNGSSCHATZUNG 



15 Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Erzeugung 
eines verbesserten Bildsignals bei der BewegungsschStzung 
von Bildsequenzen, insbesondere eines Pradiktionssignals fur 
20 Bewegtbilder mit bewegungskompensierender Pr&diktion, wobei 

fur Bildblocke Bewegungsvektoren gebildet werden, die fur 
jeden Bildblock eines aktuellen Bildes die Position des zur 
Pradiktion benutzten Bildblockes gegemiber einem zeitlich 
davorliegenden Referenzbild angeben. 

25 

Aus der EP 0 558 922 B2 ist ein Verfahren zur Verbesserung 
der Bewegungsschatzung in Bildsequenzen in 
Halbpelgenauigkeit nach dem Full- Search- Verfahren bekannt . 
Dort wird in einem ersten Verfahrensschritt der Suchbereich 
3 0 und in einem zweiten Verfahrensschritt der Match-Block 

gefiltert unter Zuhilfenahme eines zusatzlichen digitalen 
Filters, daS eine Rasterverschiebung des Bildpunktrasters urn 
M pel ermoglicht. Mit dieser Mafinahme ist eine Verfalschung 
des Bewegungsvektorf eldes auszuschlieEen . 



35 
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Beim „MPEG-4 Video Verification Model Version 7.0", Bristol, 
April 1997, MPEG 97/N1642 in ISO/IEC JTCl/SC 29/WG11 ist ein 
Encoder und Decoder zur objektbasierten Codierung von 
Bewegtbildfolgen spezif iziert . Dabei werden nicht mehr 
5 rechteckige Bilder fester GrdSe codiert und zum Empf anger 

ubertragen, sondern sogenannte VIDEO OBJECTS (VO) , welche 
beliebige Form und GroSe aufweisen diirfen. Die Abbildung 
eines solchen VO in der Kamerabildebene zu einem bestimmten 
Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet. 
10 Somit ist die Beziehung zwischen VO und VOP Equivalent zu 

der Beziehung zwischen Bildfolge und Bild im Falle der 
Ubertragung rechteckiger Bilder fester Gr6£e. 

Die bewegungskompensierende Pradiktion im 

Verif ikationsmodell wird mit Hilfe sogenannter blockweiser 
Bewegungsvektoren durchgef iihrt , die fur jeden Block der 
GroEe 8x8 bzw. 16 x 16 Bildpunkte des aktuellen Bildes die 
Position des zur Pr&diktion benutzten Blockes in einem 
bereits ubertragenen Referenzbild angeben. Die Auflosung der 
Bewegungsvektoren ist dabei auf einen halben Bildpunkt 
beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half 
pixel position) durch eine bilineare Interpolationsf ilterung 
aus den Bildpunkten auf dem Abtastraster (integer pixel 
position) erzeugt werden (Figur 1).+ gibt hierbei die 
Ganzzahl-Pixel-Position und O die Halb-Pixel-Position an. 
Die interpolierten Werte a, b, c und d in Halb-Pixel- 
Position ergeben sich durch folgende Beziehungen: 
a = A, b = (A + B)//2, c = (A + C)//2, 

d= (A+B+C+ D)//4, wobei // eine gerundete Ganzzahl- 
Division kennzeichnet . 

Vorteile der Erfindung 

Mit den Mafinahmen der Erfindung la£t sich die Qualitat des 
35 Pradiktionssignals und somit die Kodierungsef f izienz 



20 



25 
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verbessern. Dabei wird zur Erzeugung von Bildpunkten 
zwischen dem Bildpunkt-Abtastraster eine gr6£ere ortliche 
Nachbarschaf t berucksichtigt , als bei der bilinearen 
Interpolation. Die erf indungsgemaEe aliasing-reduzierende 
5 Interpolationsf ilterung fuhrt zu einer erhohten Aufl6sung 

des Bewegungsvektors und damit zu einem Pradiktionsgewinn 
und einer erhohten Codierungsef f izienz . Bei der Erfindung 
konnen die FIR-Filterkoef f izienten den zu codierenden 
Signalen angepaSt und fur jedes Video-Object getrennt 
10 ubertragen werden, was eine weitere Ef f izienzerhohung fur 

die Codierung ermoglicht sowie die Flexibilitat des 
Verfahrens erhoht. 

Im Gegensatz zur Losung gemaE der EP 0 558 922 Bl miissen 
15 keine zusatzlichen Polyphasenf ilterstrukturen fur 

Zwischenpositionen mit l A pel-Bildpunktauf losung in 
horizontaler und vertikaler Richtung entworfen werden. 

Mit den Mafinahmen der Erfindung ist es moglich, da£ bei 
2 0 gleichbleibender Datenrate die Bildf olgef requenz eines MPEG- 

1-Coders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei 
einem MPEG2- Coder kann die Datenrate bei gleichbleibender 
Bildqualitat urn bis zu 30% reduziert werden. 

25 Ze i chnungen 

Anhand von Zeichnungen werden nun Ausf uhrungbeispiele der 
Erfindung naher erlautert . Es zeigen: 

30 Figur 2 ein Interpolationsschema fur Bildpunkte zwischen dem 

Bildpunkt-Abtastraster, 

Figur 3 die Struktur eines FIR-Filters zur Interpolation, 
Figur 4 eine weitere Interpolation mit noch hoherer 
Auf losung . 

35 
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Beschreibung von Ausf iihrungsbei spiel en 

Beim Verfahren nach der Erfindung werden fur Bildblocke 
Bewegungsvektoren gebildet, die fur jeden Bildblock eines 
5 aktuellen Bildes die Position des zur PrSdiktion benutzten 

Bildblockes gegeniiber einem zeitlich davorliegenden 
Referenzbild angeben. 

Die Bestimmung der Bewegungsvektoren fiir die Pradiktion 
10 erfolgt in drei auf einanderfolgenden Schritten: 

In einem ersten Suchschritt wird ein Bewegungsvektor mit 
Pelgenauigkeit nach einem herkommlichen Verfahren, z.B. nach 
der Full-Search-Block-Matching-Methode, fiir jeden Bildblock 
bestimmt. Hierbei wird das Minimum des Fehlerkriteriums fiir 
15 mogliche Bewegungspositionen ermittelt und jener Vektor, der 

die Bewegung des Bildblockes am besten beschreibt, 
ausgewahlt (EP 0 368 151 Bl) . 

In einem zweiten Suchschritt, der wiederum auf einer solchen 

2 0 Minimumsuche fiir das Fehlerkriterium basiert, wird ausgehend 

von dem im ersten Schritt ermittelten Bewegungsvektor mit 
Pelgenauigkeit durch eine aliasing-reduzierende 
Interpolationsf ilterung mittels eines digitalen 
symmetrischen FIR (finite impulse response ) -Filters ein 
25 verbesserter Bewegungsvektor auf Subpelgenauigkeit 

ermittelt. Die Auflosung wird hierbei hoher gewahlt als im 
ersten Suchschritt, vorzugsweise wird eine Auflosung von 
einem halben Bildpunkt bezogen auf das Bildpunktraster 
gewahlt. Figur 2 zeigt das Interpolationsmuster fiir die 

3 0 Bildpunkte b, c und d zwischen dem Bildpunktraster, die sich 

aus den Nachbarbildpunkten A, B, C # D, E, F, G, H auf dem 
Bildpunktraster ergeben. + gibt die Ganzzahl-Pixelposition 
an, o die Halbpixelposition . Es gilt: 



35 
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b = (COlxfA.! + A +1 ) + C02x (A_ 2 + A +2 ) + C03x (A_ 3 + A +3 ) + 
C04x (A_ 4 + A +4 ) ) /256 

Ci = (C01x(Ai + Ei) + C02x(Bi + Fi) + C03x (Ci+ G±) + 
G04x(Di + Hi) ) /256 
5 d = (COlxfc.! + c +1 ) + C02x(c_ 2 + c +2 ) + C03x (c_ 3 + c +3 ) + 

C04x (C4+ c +4 ) ) /256 

Die Struktur des verwendeten FIR- Interpolationsf ilters ist 
aus Figur 3 ersichtlich. Es weist nach jeder 

10 Bildpunktposition 8p einen Abzweig zu einem Koef f izienten- 

bewerter l, 2, 3 usw. auf und eine Summationseinrichtung 10 
am Ausgang. Wie aus obigen Beziehungen ersichtlich ist, wird 
zur Erzeugung von Bildpunkten zwischen dem Abtastraster eine 
grofiere ortliche Nachbarschaf t berucksichtigt , als bei der 

15 bilinearen Interpolation nach dem Stand der Technik. Die 

Interpolationsf ilterkoef f izienten C02, C03 , C04 werden dabei 
so bestimmt, daE die Interpolationsf ehlerlei stung minimal 
wird. Die Koef f izienten konnen direkt mit dem bekannten 
Schatzverf ahren des kleinsten, mittleren quadratischen 

20 Fehlers bestimmt werden. Aus der Minimierung der 

Interpolationsf ehlerleistung erhalt man ein lineares 
Gleichungssystem, dessen Koef f izienten aus dem 
Orthogonal it at sprinzip abgeleitet werden kc-nnen. Ein derart 
optimierter Satz von FIR-Filterkoef f izienten ist durch die 

25 Koeffizienten COl = 161/256, C02 = -43/256, C03 = 23/256, 

C04 = -8/2 56 gegeben. 

Im dritten Suchschritt wird ausgehend von dem auf M 
Pelgenauigkeit bestimmten Bewegungsvektor durch eine weitere 

3 0 Interpolationsf ilterung eine lokale Suche unter 

Zugrundelegung der acht Nachbarbildpunkte mit einer 
Auflosung, die noch weiter erhoht ist, vorzugsweise auf # 
Bildpunkt, durchgef uhrt . Es wird wie zuvor der 
Bewegungsvektor ausgewahlt, der die geringste 

35 Pradiktionsf ehlerleistung liefert. 
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Das Interpolationsmuster hierzu zeigt Figur 4. Die 
ganzzahligen Bildpunkt -Posit ionen sind mit X gekennzeichnet , 
die Halb-Pixel-Bildpunktpositionen mit o und die Viertel- 
5 Pixel -Bildpunktposit ionen mit -. O markiert die beste 

Kompensation mit l/2-Bildpunkt und + die Viertelbildpunkt- 
Suchpos i t i on . 

Interpoliert wird beziiglich des Bildpunktrasters mit der 
10 Auflosung von einem halben Bildpunkt aus dem zweiten 

Suchschritt mit den FIR-Filterkoef f izienten COl' = 1/2, 
C02' = 0, C03' = O, C04' = O. 

Die gleiche zuvor vorgestellte Interpolationstechnik wird 
15 fur die bewegungskompensierende Pradiktion verwendet. 

Falls die Verarbeitung innerhalb eines Coders mit einem 
reduzierten Bildformat durchgefuhrt wird (SIF-Format 
innerhalb eines MPEG1 -Coders oder Q-CIF in einem H.263- 

20 Coder) , zur Anzeige aber das ursprungliche Eingangs format 

verwendet wird, z.B. CCIR 601 [1] bei MPEG-1 oder CIF bei 
H.263, muS als Nachverarbeitung eine 6rtliche 
Interpolationsf ilterung durchgefuhrt werden. Auch fur diesen 
Zweck kann die beschriebene aliasing-kompensierende- 

25 Interpolationsf ilterung verwendet werden. 

Urn die aliasing-kompensierende Interpolation mit 1/4 Pel 
Auflosung zu aktivieren, konnen in einen Bildubertragungs- 
Bitstrom Aktivierungsbits eingefugt werden. 

30 

Fur die Pradiktion von Video-Ob jekten konnen die 
Filterkoeff izienten COl bis C04 und COl' bis C04' fur jedes 
der Video-Ob jekte VO getrennt aufbereitet werden und in deh 
Bildubertragungs-Bitstrom zu Beginn der Ubertragung des 
35 jeweiligen Video-Objekts eingefugt werden. 
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Zur Codierung eines Bewegungsvektors kann der Wertebereich 
der zu codierenden Bewegungsvektor-Dif f erenzen an die 
erhohte Auflosung angepafit werden. 
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10 Ansp ruche 

1. Verfahren zur Erzeugung eines verbesserten Bildsignals 
bei der Bewegungsschatzung von Bildsequenzen, insbesondere 
eines Pradiktionssignals fur Bewegtbilder mit 

15 . bewegungskompensie render Pradiktion, wobei fur Bildblocke 

Bewegungsvektoren gebildet werden, die fiir jeden Bildblock 
eines aktuellen Bildes die Position des zur Pradiktion 
benutzten Bildblockes gegeniiber einem zeitlich 
davorliegenden Referenzbild angeben, mit folgenden 

2 0 Schritten: 

- In einem ersten Suchschritt wird ein Bewegungsvektor auf 
Pelgenauigkeit bestimmt, 

in einem zweiten Suchschritt wird ausgehend von dem 
Bewegungsvektor mit Pelgenauigkeit durch eine aliasing- 

25 reduzierende Interpolations! ilterung mittels eines digitalen 

Filters ein verbesserter Bewegungsvektor auf 
Subpelgenauigkeit ermittelt, wobei die Auflosung hoher 
gewahlt ist, als es der Aufl6sung des Bildpunktrasters im 
ersten Suchschritt entspricht und wobei zur Interpolation 

30 mehr Nachbarbildpunkte herangezogen werden als bei einer 

bilinearen Interpolation, 

- in einem dritten Suchschritt wird ausgehend von dem auf 
Subpelgenauigkeit bestimmten Bewegungsvektor durch eine 
weitere Interpolationsf ilterung mittels des digitalen 

35 Filters ein weiter verbesserter Bewegungsvektor ermittelt, 
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wobei die Auflosung gegenuber dem zweiten Suchschritt 
nochmals erhdht wird und die Interpolation basierend auf dem 
Bildpunktraster mit der Auflosung im zweiten Suchschritt 
vorgenommen wird. 

5 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, da£ 
zur Interpolationsfilterung beim zweiten Suchschritt ein 
FIR- Filter verwendet wird mit den Filterkoef f izienten COl = 
161/256, C02 = -43/256, C03 = 23/256, C04 = -8/256. 

10 

3. Verfahren nach Anspruch 1 Oder 2, dadurch gekennzeichnet , 
da£ zur Interpolationsfilterung beim dritten Suchschritt ein 
FIR-Filter verwendet wird, mit den FIR-Filterkoef f izienten 
COl' = 1/2, C02' = 0, C03' = O, C04 ' = O. 

15 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, dafi fur die Pradiktion von Video-Obj ekten 
(VO) die Filterkoef f izienten des digitalen Filters/FIR- 
Filters fur jedes Video-Obj ekt getrennt aufbereitet werden 

2 0 und in einen Ubertragungsbitstrom zu Beginn der Ubertragung 

des jeweiligen Objektes eingefiigt werden. 

5. Verfahren nach einem der Anspriiche 1 bis 4, dadurch 
gekennzeichnet, dafc zur Codierung eines Bewegungsvektors , 

25 insbesondere fur eine Ubertragung der Wertebereich der zu 

codierende Bewegungsvektor-Dif f erenzen an eine erhohte 
Auflosung angepaEt wird. 
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